Попробую применить результаты word2vec для причесывания сырых результатов перевода.

К примеру, сейчас я выдаю такое сырье:
( Read more... )

Немного расширил алгоритм структурного парсера, чтобы он мог продолжать разбор даже в том случае, когда в предложении встречаются неразбираемые фрагменты. Раньше парсер имел специальный режим "кусочно-непрерывный анализ", то есть при встрече с непонятным фрагментом он пропускал его и начинал разбор справа от пропущенного участка снова, как было ( Read more... )

Еще один тип ошибок - пробелы внутри слов. Вот что с ними делает новый алгоритм токенизации:

( Кош ка сп ит на ди ване )

Добавил в лексер еще один алгоритм, который может сделать вот что.
На входе лексера - предложение "Я немогу прочитать это слово".
В режиме нечеткого анализа лексер пытается разбить токены на словарные лексемы. Вот так оно выглядит в консольном отладчике:

( Сегментация токенов... )

Добавил в лексер вызов модуля реконструкции текста. На тестовой задаче (уровня proof-of-concept) получается очень даже интересно.
На входе парсера - предложение с пропущенным предлогом "Я взгляну кошку".
Парсер восстанавливает пропущенный предлог "Я взгляну на кошку".
( Read more... )

Пока есть 2 варианта, как решать задачу.

Один вариант - на основе "эксперимента" Reconstructor v.2. На скрине видно, что он в текущем виде умеет восстанавливать пропущенный предлог и корректировать грамматическую форму слова, чтобы итоговый текст выглядел более грамотно.

( Read more... )